Hải cẩu voi miền nam được phân biệt với hải cẩu voi phương bắc (hai loài này không có phạm vi phân bố chồng lên nhau) bằng khối lượng cơ thể (hải cẩu voi miền nam lớn hơn và vòi cũng ngắn hơn). Con đực loài phía nam dường như cao hơn khi chúng đánh nhau, do chúng uốn cong lưng lại mạnh mẽ hơn so với loài phương bắc. Chúng có dị hình lưỡng tính rất lớn về kích thước, có thể là khác biệt lớn nhất trong các loài động vật có vú, với những con đực thường nặng gấp 5-6 lần hơn so với con cái.[3] Trong khi con cái thường có cân nặng 400–900 kg và dài 2,6–3 m, các con đực điển hình cân nặng từ 2200–4000 kg và dài 4,2-5,8 m.[4][5] Một con cái trưởng thành có cân nặng trung bình 771 kg, trong khi một con đực trưởng thành có cân nặng trung bình khoảng 3.175 kg.[6][7] Các nghiên cứu đã chỉ ra loài hải cẩu voi phương nam từ Nam Georgia nặng hơn 30% và dài hơn 10% so với những cá thể từ đảo Macquarie. Con đực có kích thước kỷ lục, bị bắn tại vịnh Possession, Nam Georgia, vào ngày 28 tháng 2 năm 1913, dài 6.85 m và ước tính nặng 5.000 kg.[8][9] Kích thước tối đa của con cái là 1.000 kg và dài 3,7 m.[8] Mắt to, tròn, và màu đen.